Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness
用双层元评分标准评估长文本生成的事实完整性：GAMUT基准
🧭 长文本生成评估 · 事实完整性 ★ 深度解读
Meta AI
提出双层元评分框架，将结构化回答要求编译为二进制检查表，构建首个多模态日常深度研究事实完整性基准GAMUT
📌 工作参考价值（4 点）
- 结构化评估思想可迁移到生成式推荐场景：当用LLM生成商品描述、购买理由或搭配建议时，可用类似“元评分标准→二进制检查表”的方式，将产品卖点、品牌调性等要求编为可自动评分的 checklist，避免人工审核偏差。
- 开放集合覆盖率评分可用于推荐多样性评估：Flexible List 的“基线覆盖率+额外加分”机制，类似推荐列表中长尾商品覆盖度的评估，可设计为“至少命中k个相关类目”的自动打分规则。
- 多层级重要性权重的工程落地：将回答内容分为 Answer-Critical/Valuable/Context 三个等级并全局加权，推荐系统的解释生成也可采用类似分层，保障核心产品信息被覆盖，次要信息锦上添花。
- 双层设计分离“期望描述”与“实际打分”：工程上可将复杂的评测标准维护在结构化层，打分时用机械规则展开为简单判断项，降低LLM法官的评分方差，适合大规模生产环境中的自动化评估。